(tæt på N(0,1) hvis n ikke alt for lille). t i god til at checke for outliers som kan have stor indflydelse på estimaterne s 2 og ˆσ 2 e i

Transkript

1 Da er r i = e i ˆσ ei t(n 3) (tæt på N(0,1) hvis n ikke alt for lille). Program 1. lineær regression: opgave 3 og 13 (sukker-temperatur). 2. studentiserede residualer, multipel regression. Tommelfinger-regel: 95 % af r i skal ligge mellem -2 og 2. Tilsvarende har vi t i = e i ˆσ ei, i hvor ˆσ ei, i estimat når y i udelades fra datasæt. t i god til at checke for outliers som kan have stor indflydelse på estimaterne s 2 og ˆσ 2 e i. r i og t i udregnes vha. rstandard og rstudent 1 3 Studentiserede residualer Model: Y i = α + βx i + ǫ i hvor ǫ i N(0,σ 2 ) For estimater ˆα og ˆβ er den predikterede værdi af Y i givet ved ŷ i = ˆα + ˆβx i Residual (afvigelse mellem observation og prediktion): e i = y i ŷ i Bemærk, e i kun prediktion af ǫ i så ikke eksakt N(0,σ 2 ). Lad ˆσ e 2 i være et estimat af σe 2 i = V ar(e i ) (E i = Y i Ŷi) 2 Multipel regression Data fra opgave 3 side 408: Oven width x x log cooking time Y Multipel regressionsmodel: Y = α + β 1 x 1 + β 2 x 2 + ǫ hvor ǫ N(0,σ 2 ). (kommer senere ind på hvorfor log time og ikke time!) 4

2 =log(time) cookfit=lm(~width+) Nogle plot studentres=rstandard(cookfit) Rstud=rstudent(cookfit) #sammenligner de to typer af studentiserede resi plot(studentres,rstud) abline(c(0,1)) hist(rstud) qqnorm(rstud) qqline(rstud) yhat=predict(cookfit) Width 5 plot(yhat,rstud) plot(,rstud) plot(width,rstud) 7 Estimation og residualer ˆα, ˆβ 1 og ˆβ 2 vælges så n e2 i minimeres (mindste kvadraters metode) hvor Nogle residual plot Normal Q Q Plot e i = y i ŷ i og ŷ i = ˆα + ˆβ 1 x 1 + ˆβ 2 x 2 Estimat af σ 2 s 2 = 1 n 3 (y i ŷ i ) 2 Sample Quantiles Rstud Studentiserede residualer defineres som for lineær regression Theoretical Quantiles yhat Model check analogt med model check for lineær regression: histogram, qqplot, plot af residualer mod ŷ, x 1 og x 2. struktur i residualerne? 6 8

3 Test for hypoteser β 1 = 0 og β 2 = 0 summary(cookfit)... (Intercept) *** Width * Residual standard error: on 7 degrees of freedom Multiple R-Squared: ,Adjusted R-squared: F-statistic: on 2 and 7 DF, p-value: F-test: test for fælles effekt af width og temperature. ikke signifikant? Polynomiel model Ser ud til, at log time er kvadratisk/parabolsk funktion af temperatur. Prøve model hvor log time andengrads-polynomium som funktion af temperatur: Y = α + β 1 x 1 + β 2 x 2 + β 3 x 3 + ǫ 9 hvor x 3 = x Kolinearitet Width > temp2=^2 > cookfit=lm(~width++temp2) > summary(cookfit) (Intercept) e-05 *** Width * temp * Residual standard error: on 6 degrees of freedom Multiple R-Squared: ,Adjusted R-squared: F-statistic: on 3 and 6 DF, p-value: 9.442e-05 De to variable width og temperatur minder kraftigt om hinanden - dvs. de forklarer den samme variation i data. Derved er en overflødig. 10 Evidens for, at log time polynomiel funktion af temperatur. Width ikke signifikant i denne model 12

4 Prediktion Forudsig log cooking time Y og cooking time exp(y ) når width=4 og temp=9. > prediktion=predict(cookfit2,newdata=data.frame(width=4, =9,temp2=9^2),interval="prediction") > prediktion fit lwr upr [1,] > exp(prediktion) fit lwr upr [1,] NB: P(L Y U) = 95% P(exp(L) exp(y ) exp(u)) = 95%. Hvordan kan vi fortolke værdine 25.26? 13 Resultater med og uden 1. observation (Intercept) e-05 *** * Width I(^2) * Resultat med usædvanlig observation udeladt: cook.fit=lm([-1]~[-1]+width[-1]+i([-1]^2)) (Intercept) e-07 *** [-1] *** Width[-1] I([-1]^2) *** 15 Nogle residual plot Rstud Her kvalitativt ens resultater yhat2 Stort residual for første observation 14 16

5 Implementation i R: Kategoriske forklarende variable Tabel 12.3 side 430: ph x polymer type suspended solids y Tal 1, 2 og 3 skal ikke tages for pålydende: blot navne for typer af polymer (kunne ligesåvel være A, B, C). 17 > poly2=as.numeric(polymer==2) > poly3=as.numeric(polymer==3) > suspfit=lm(suspended~ph+poly2+poly3) > summary(suspfit)... (Intercept) ph e-08 *** poly e-05 *** poly e-06 *** Residual standard error: on 14 degrees of freedom Multiple R-Squared: ,Adjusted R-squared: F-statistic: on 3 and 14 DF, p-value: 8.14e suspended ph Forskellig hældning? ph2 = ph poly2 = ph hvis polymer type 2 og nul ellers ph3 = ph poly3 = ph hvis polymer type 3 og nul ellers Y = α + β 1 ph + β 2 poly2 + β 3 poly3 + β 4 ph2 + β 5 ph3 + ǫ Model: forskellig skæring afhængig af polymer type? poly2 = 1 hvis polymer type 2 og nul ellers poly3 = 1 hvis polymer type 3 og nul ellers Y = α + β 1 ph + β 2 poly2 + β 3 poly3 + ǫ β 4 : forskel hældning polymer 1 og 2. β 5 forskel hældning polymer 1 og 3. β 2 : forskel i skæring polymer 1 og 2. β 3 forskel i skæring polymer 1 og

6 > ph2=ph*poly2 > ph3=ph*poly3 > suspfit2=lm(suspended~ph+ph2+ph3+poly2+poly3) > summary(suspfit2) (Intercept) ph e-05 *** ph ** ph poly ** poly * Residual standard error: on 12 degrees of freedom Multiple R-Squared: ,Adjusted R-squared: F-statistic: on 5 and 12 DF, p-value: 1.016e Lineære modeller: en opskrift (fortsat) Ting at gøre Hvordan (i R) Test for diverse variable i model, anova(lm.fit) konfidensintervaller confint(lm.fit) Prediktion predict(lm.fit,newdata=..., interval=...) 23 Lineære modeller: en opskrift Ting at gøre Hvordan (i R) Undersøg data: tegn y mod x i, boxplot for faktorer plot(x,y), boxplot(y~f) (interaktionsplot for tosidet variansanalyse) interaction.plot(f1,f2,y) Model selektion Bedste model indeholder ikke nødvendigvis alle forklarende variable. For få: dårlig tilpasning til data For mange: dårlige prediktionsegenskaber - passer godt til foreliggende data men ikke til nye data. Tilpas lineær model Udregn studentiserede residualer og forventede værdier Modelkontrol: histogram, qq-plot og residualer mod forventede værdier og kovariater (Bartlett-test for ensidet variansanalyse) 22 lm.fit=lm(y~x+f+x*f+...) summary(lm.fit) Rstud=rstudent(lm.fit) yhat=fitted(lm.fit) hist(rstud), qqnorm(rstud) plot(yhat,rstud) plot(x,rstud) (bartlett.test(y~f)) Eksempel: polynomiel model for 3 observationer ikke god til prediktion af resterende observationer: y x 24

7 Problem: hvilken delmængde af forklarende variable skal indgå i model? Hvis m forklarende variable: 2 m mulige modeller. Pragmatisk tilgangsvinkel: forward eller backward model selektion. Forward: 1. start med model uden forklarende variable 2. tilføj variabel, der er mest signifikant 3. gentag 2. indtil kun ikke-signifikante variable restererer NB: man kan vælge at lade tvivlen komme anklagede til gode og bruge α større end de sædvanlige 5 % 25 Vedr. kvadratsummer, R 2 F-test og t-test SSE = SST = (y i ŷ i ) 2 SSR = (ŷ i ȳ) 2 (y i ȳ) 2 = SSE + SSR R 2 = 1 SSE SST = SSR SST NB: lille SSE henholdsvis stor SSR betyder god tilpasning til data. NB: kan ikke bruge R 2 til model selektion (kan altid fås vilkårligt tæt på en - overfitting - se også adjusted R 2 side 467 i 8. udgave) 27 Backward: 1. start med model med alle forklarende variable 2. fjern variabel, der er mindst signifikant (størst p-værdi) 3. gentag 2. indtil kun signifikante variable restererer NB: man kan vælge at lade tvivlen komme anklagede til gode og bruge α større end de sædvanlige 5 % Forward og Backward kan mixes og bør også understøttes af faglig baggrundsviden, der f.eks. på baggrund af etableret viden siger, at en variabel skal med. Notation i bogen: R(β 1,β 2 ) = SSR for modellen med α + β 1 x 1 + β 2 x 2 R(β 3 β 1,β 2 ) = R(β 3,β 1,β 2 ) R(β 1,β 2 ) forøgelse i SSR når x 3 inddrages i model Stor R(β 3 β 1,β 2 ) betyder, at x 3 giver stor forbedring af model. F-test for hypotese β 3 = 0 (store værdier kritiske): f = R(β 3 β 1,β 2 ) s 2 Bemærk: f = t 2 hvor t er t-test for effekt af x 3. Men F-test for flere variable på en gang også muligt (ikke muligt med t-test)